类型
以下类型由MCCL库使用。
mcclComm_t
mcclComm_t
MCCL通信器。指向MCCL内部不透明的结构体。
mcclResult_t
mcclResult_t
所有MCCL函数的返回值。可能的值包括:
-
mcclSuccess0函数成功执行。 -
mcclUnhandledMusaError1调用MUSA函数失败。 -
mcclSystemError2系统调用失败。 -
mcclInternalError3内部检查失败。这可能是由于MCCL中的bug或内存损坏。 -
mcclInvalidArgument4参数值无效。 -
mcclInvalidUsage5对MCCL的调用不正确。这通常是编程错误。当函数返回错误时,如果环境变量MCCL_DEBUG设置为"WARN",MCCL会打印更详细的信息。
mcclDataType_t
mcclDataType_t
MCCL定义了以下整数和浮点数据类型。
-
mcclInt8有符号8位整数
-
mcclChar有符号8位整数
-
mcclUint8无符号8位整数
-
mcclInt32有符号32位整数
-
mcclInt有符号32位整数
-
mcclUint32无符号32位整数
-
mcclInt64有符号64位整数
-
mcclUint64无符号64位整数
-
mcclFloat1616位浮点数(半精度)
-
mcclHalf16位浮点数(半精度)
-
mcclFloat3232位浮点数(单精度)
-
mcclFloat32位浮点数(单精度)
-
mcclFloat6464位浮点数(双精度)
-
mcclDouble64位浮点数(双精度)
-
mcclBfloat1616位浮点数(bfloat16格式中的截断精度,MUSA SDK 3.1.0或更高版本 MP >= 22)
-
mcclFloat8e4m38位浮点数,4位指数位,3位尾数位(MUSA SDK >= 3.1.0 和 MP >= 31)
-
mcclFloat8e5m28位浮点数,5位指数位,2位尾数位(MUSA SDK >= 3.1.0 和 MP >= 31)
mcclRedOp_t
mcclRedOp_t
定义归约操作。
-
mcclSum执行求和(+)操作
-
mcclProd执行乘积(*)操作
-
mcclMin执行最小值操作
-
mcclMax执行最大值操作
-
mcclAvg执行平均值操作,即所有 rank 的求和除以 rank 数。
mcclScalarResidence_t
mcclScalarResidence_t
指示标量参数位于何处(内存空间)以及何时可以解引用。
-
mcclScalarHostImmediate标量位于主机内存中,应以最直接的方式解引用。
-
mcclScalarDevice标量位于设备可见内存中,需要时应该解引用。

